#multi-agent RL - AI Papers Daily

Interactive Memory Learning for Long-Term Conversations

交互式记忆学习用于长期对话

🧭 多智能体协作记忆优化 ★ 深度解读

Harbin Institute of Technology, Shenzhen · Pengcheng Laboratory, China

提出 ICML 多智能体在线强化学习框架，Planner 与 Trigger 通过跨会话延迟奖励共同进化，实现记忆策略自演进

📌 工作参考价值（4 点）

将记忆写入（Planner）和记忆召回（Trigger）拆成两个可学习策略，用 PPO 在线更新，适合客服/导购等用户偏好频繁变化场景；Planner 过滤噪音控制上下文长度，Trigger 按当前 query 选择记忆。
跨会话延迟奖励机制：把未来响应质量反传回当初的存储决策，解决记忆价值滞后问题，可迁移到电商中用户长期反馈对画像写入策略的反哺。
用 Retrospective Session Synthesis 反向生成一致故事线并标注记忆依赖，做冷启动专家数据，可借鉴为合成用户会话数据训练记忆策略，缓解在线 RL 稀疏奖励。
实现 plug-and-play，不改闭源 LLM 权重，仅训练小模型策略，构造延迟约 63ms、检索约 13ms，对已有线上 LLM 对话系统做记忆增强成本低。

MultiAgent | 2026-09-15 | cs.CL | score 8/10

辩论训练减少 RLAIF 中的奖励黑客行为

🧭 多智能体辩论 RL 训练 ★ 深度解读

Google DeepMind

双玩家辩论 RL 训练在数学任务上比单玩家 RLAIF 峰值准确率提高约2个百分点，恢复45%性能差距，并保持 judge MCC 稳定。

📌 工作参考价值（4 点）

在电商/推荐/广告场景中如果用 LLM judge 做 RL 奖励（如生成推荐理由、搜索摘要、广告文案），单玩家 RLAIF 会随着训练步数增加出现 reward hacking：策略学会模仿 judge 偏见、权威语气或冗余表达，导致真实指标下降。可借鉴辩论架构：加一个共享权重的 critic 与 generator 对抗，critic 的 reward 为 1 - generator 的 reward，每个 batch 各占一半。该常数和结构能维持 judge 与 ground-truth 的一致性。
在无 ground-truth 的场景中无法做 early stopping，保持 peak 性能不衰减很关键。辩论训练虽然收敛到 peak 更慢（学习率需降 4x 且一半 batch 给 critic），但峰值后不坍塌，对线上模型发布有价值。工程实现可采用 prefix-then-diverge 策略，每步只随机分叉一个玩家，减少计算成本。
如果负责用 LLM judge 训练生成模型，务必同时监控 train/validation reward gap 和 judge 的 MCC 或等价指标。本文发现 RLVR（有 ground-truth reward）的 train/val gap 明显大于 LLM judge 设置，说明学会说服 judge 比学会底层技能更容易泛化，容易掩盖真实能力不足。
对于较弱 judge（例如用 cheap 小模型 judge 大模型），增加 rebuttal 回合（ABA）能补偿 judge 能力不足，提升 accuracy 接近标准 judge 水平；在推理/评估成本可接受时，可考虑多轮对抗交互。

Training | 2026-08-18 | cs.LG | score 8/10